นายภิรมย์ พลวิเศษ เกิดเมื่อวันที่ 7 สิงหาคม พ.ศ. 2508 ที่ อำเภอประทาย จังหวัดนครราชสีมา ด้านชีวิตครอบครัวสมรสกับนาง อรทัย พลวิเศษ มีบุตร 4 คนคือ

1. นางสาวพีรยา พลวิเศษ
2. นายนวกิจ พลวิเศษ
3. เด็กหญิงรมย์นลิน พลวิเศษ
4. เด็กหญิงรมย์ธีรา พลวิเศษ

นายภิรมย์เสียชีวิตจากภาวะติดเชื้อในกระแสโลหิตภายหลังจากผ่าตัดส้นเท้าเมื่อช่วงบ่ายวันศุกร์ที่ 15 พฤษภาคม พ.ศ. 2563 ที่ โรงพยาบาลมหาราชนครราชสีมา สิริรวมอายุได้ 54 ปี